Computer tomography (CT) have been routinely used for the diagnosis of lung diseases and recently, during the pandemic, for detecting the infectivity and severity of COVID-19 disease. One of the major concerns in using ma-chine learning (ML) approaches for automatic processing of CT scan images in clinical setting is that these methods are trained on limited and biased sub-sets of publicly available COVID-19 data. This has raised concerns regarding the generalizability of these models on external datasets, not seen by the model during training. To address some of these issues, in this work CT scan images from confirmed COVID-19 data obtained from one of the largest public repositories, COVIDx CT 2A were used for training and internal vali-dation of machine learning models. For the external validation we generated Indian-COVID-19 CT dataset, an open-source repository containing 3D CT volumes and 12096 chest CT images from 288 COVID-19 patients from In-dia. Comparative performance evaluation of four state-of-the-art machine learning models, viz., a lightweight convolutional neural network (CNN), and three other CNN based deep learning (DL) models such as VGG-16, ResNet-50 and Inception-v3 in classifying CT images into three classes, viz., normal, non-covid pneumonia, and COVID-19 is carried out on these two datasets. Our analysis showed that the performance of all the models is comparable on the hold-out COVIDx CT 2A test set with 90% - 99% accuracies (96% for CNN), while on the external Indian-COVID-19 CT dataset a drop in the performance is observed for all the models (8% - 19%). The traditional ma-chine learning model, CNN performed the best on the external dataset (accu-racy 88%) in comparison to the deep learning models, indicating that a light-weight CNN is better generalizable on unseen data. The data and code are made available at https://github.com/aleesuss/c19.

Recent advances in neural radiance fields have enabled the high-fidelity 3D reconstruction of complex scenes for novel view synthesis. However, it remains underexplored how the appearance of such representations can be efficiently edited while maintaining photorealism. In this work, we present PaletteNeRF, a novel method for photorealistic appearance editing of neural radiance fields (NeRF) based on 3D color decomposition. Our method decomposes the appearance of each 3D point into a linear combination of palette-based bases (i.e., 3D segmentations defined by a group of NeRF-type functions) that are shared across the scene. While our palette-based bases are view-independent, we also predict a view-dependent function to capture the color residual (e.g., specular shading). During training, we jointly optimize the basis functions and the color palettes, and we also introduce novel regularizers to encourage the spatial coherence of the decomposition. Our method allows users to efficiently edit the appearance of the 3D scene by modifying the color palettes. We also extend our framework with compressed semantic features for semantic-aware appearance editing. We demonstrate that our technique is superior to baseline methods both quantitatively and qualitatively for appearance editing of complex real-world scenes.

从数字艺术到AR和VR体验，图像编辑和合成已经变得无处不在。为了生产精美的复合材料，需要对相机进行几何校准，这可能很乏味，需要进行物理校准目标。代替传统的多图像校准过程，我们建议使用深层卷积神经网络直接从单个图像中直接从单个图像中推断摄像机校准参数，例如音高，滚动，视场和镜头失真。我们使用大规模全景数据集中自动生成样品训练该网络，从而在标准L2误差方面产生了竞争精度。但是，我们认为将这种标准误差指标最小化可能不是许多应用程序的最佳选择。在这项工作中，我们研究了人类对几何相机校准中不准确性的敏感性。为此，我们进行了一项大规模的人类感知研究，我们要求参与者以正确和有偏见的摄像机校准参数判断3D对象的现实主义。基于这项研究，我们为摄像机校准开发了一种新的感知度量，并证明我们的深校准网络在标准指标以及这一新型感知度量方面都优于先前基于单像的校准方法。最后，我们演示了将校准网络用于多种应用程序，包括虚拟对象插入，图像检索和合成。可以在https://lvsn.github.io/deepcalib上获得我们方法的演示。

大多数室内3D场景重建方法都致力于恢复3D几何和场景布局。在这项工作中，我们超越了这一点提出Photoscene，该框架是一个场景的输入图像以及大约对齐的CAD几何（自动或手动指定的重建），并构建具有高质量材料和高质量材料和高质量的材料的photorealistic Digital Twin类似的照明。我们使用程序材料图对场景材料进行建模；这样的图代表了逼真的和分辨率无关的材料。我们优化了这些图的参数及其纹理量表和旋转，以及场景照明，以通过可区分的渲染层最好地匹配输入图像。我们评估了从扫描仪，Sun RGB-D和库存照片的对象和布局重建的技术，并证明我们的方法重建高质量的，完全可重新可重新可重新的3D场景，这些场景可以在任意观点，Zooms和Lighting下重新渲染。

体积神经渲染方法，例如神经辐射场（NERFS），已实现了光真实的新型视图合成。但是，以其标准形式，NERF不支持场景中的物体（例如人头）的编辑。在这项工作中，我们提出了Rignerf，该系统不仅仅是仅仅是新颖的视图综合，并且可以完全控制头姿势和从单个肖像视频中学到的面部表情。我们使用由3D可变形面模型（3DMM）引导的变形场对头姿势和面部表情的变化进行建模。 3DMM有效地充当了Rignerf的先验，该rignerf学会仅预测3DMM变形的残留物，并使我们能够在输入序列中呈现不存在的新颖（刚性）姿势和（非刚性）表达式。我们仅使用智能手机捕获的简短视频进行培训，我们证明了我们方法在自由视图合成肖像场景的有效性，并具有明确的头部姿势和表达控制。项目页面可以在此处找到：http：//shahrukhathar.github.io/2022/06/06/rignerf.html

最近的方法（例如材料gan）已使用无条件的gan来生成每像素材料图，或作为从输入照片重建材料之前的材料。这些模型可以生成各种随机材料外观，但没有任何将生成材料限制为特定类别或控制生成材料的粗体结构的机制，例如砖墙上的精确砖布局。此外，从单个输入照片中重建的材料通常具有伪像，并且通常不可易换，这限制了它们在实际内容创建管道中的使用。我们提出了Tilegen，这是一种针对SVBRDFS的生成模型，该模型特定于材料类别，始终可易换，并且在提供的输入结构模式上有条件。 Tilegen是Stylegan的变体，其架构经过修改以始终生成可易于的（周期性）材料图。除了标准的“样式”潜在代码外，Tilegen还可以选择拍摄条件图像，从而使用户直接控制材料的主要空间（和可选的颜色）功能。例如，在砖块中，用户可以指定砖布局和砖块，或者在皮革材料中，皱纹和褶皱的位置。我们的反渲染方法可以通过优化找到一种材料，从而感知到单个目标照片。这种重建也可以以用户提供的模式为条件。所得的材料是可拆卸的，可以大于目标图像，并且可以通过改变条件来编辑。

我们提出了一种方法，可以在神经SDF渲染器中相对于几何场景参数自动计算正确的梯度。最近基于物理的可区分渲染技术用于网格采样来处理不连续性，尤其是在对象轮廓上，但是SDF没有简单的参数形式，可用于采样。取而代之的是，我们的方法建立在区域采样技术的基础上，并为SDFS开发了连续的翘曲功能，以解决这些不连续性。我们的方法利用了在SDF中编码的表面的距离，并在球形示踪剂点上使用正交来计算此翘曲功能。我们进一步表明，这可以通过对要点进行次采样来使神经SDF的方法进行。我们可区分的渲染器可用于优化从多视图图像中的神经形状，并对最近基于SDF的反向渲染方法产生可比较的3D重建，而无需2D分割掩码来指导几何形状优化，而无需对几何形状进行体积近似。

我们提出了一种从单个图像中编辑复杂室内照明的方法，其深度和光源分割掩码。这是一个极具挑战性的问题，需要对复杂的光传输进行建模，并仅通过对场景的部分LDR观察，将HDR照明从材料和几何形状中解散。我们使用两个新颖的组件解决了这个问题：1）一种整体场景重建方法，该方法估计场景反射率和参数3D照明，以及2）一个神经渲染框架，从我们的预测中重新呈现场景。我们使用基于物理的室内光表示，可以进行直观的编辑，并推断可见和看不见的光源。我们的神经渲染框架结合了基于物理的直接照明和阴影渲染，深层网络近似于全球照明。它可以捕获具有挑战性的照明效果，例如柔软的阴影，定向照明，镜面材料和反射。以前的单个图像逆渲染方法通常纠缠场景照明和几何形状，仅支持对象插入等应用程序。取而代之的是，通过将参数3D照明估计与神经场景渲染相结合，我们演示了从单个图像中实现完整场景重新确定（包括光源插入，删除和替换）的第一种自动方法。所有源代码和数据将公开发布。

Volumetric neural rendering methods like NeRF generate high-quality view synthesis results but are optimized per-scene leading to prohibitive reconstruction time. On the other hand, deep multi-view stereo methods can quickly reconstruct scene geometry via direct network inference. Point-NeRF combines the advantages of these two approaches by using neural 3D point clouds, with associated neural features, to model a radiance field. Point-NeRF can be rendered efficiently by aggregating neural point features near scene surfaces, in a ray marching-based rendering pipeline. Moreover, Point-NeRF can be initialized via direct inference of a pre-trained deep network to produce a neural point cloud; this point cloud can be finetuned to surpass the visual quality of NeRF with 30X faster training time. Point-NeRF can be combined with other 3D reconstruction methods and handles the errors and outliers in such methods via a novel pruning and growing mechanism. The experiments on the DTU, the NeRF Synthetics , the ScanNet and the Tanks and Temples datasets demonstrate Point-NeRF can surpass the existing methods and achieve the state-of-the-art results.